打开文本图片集

摘要：本文利用CNN神经网络、三元语言模型等技术构建一个自动将盲文识别为汉字的系统，助力盲人群体。该系统的实现主要分为盲文识别、拼音向汉字转化两个部分，首先利用CNN神经网络识别图像并拟合出相关数据，该模型可以将读取到的盲文字符输出拼音串，随后利用三元语言模型将拼音串输出为整句，从而实现盲文识别。

关键词：盲文识别;盲人;CNN神经网络;三元语言模型

一、研究意义

首先，在当今时代，盲人群体已经成为社会残疾人群体中一支不可忽视的群体，随着国家经济的发展和社会的进步，必然会培养出一批受过高等教育盲人群体，他们在今后的社会发展中能更好的服务于特殊教育事业。自动识别盲文技术恰恰能准确的向外界传递出他们的经验成果以及相关意见措施，助力盲人群体更好融入现行的社会。

二、研究具体内容

（一）数据来源

盲文的训练集来源于：https：//github.com/yeluo1994/DSBI

（二）具体研究内容

本文利用CNN神经网络和三元语言模型等技术构建一个自动将盲文识别为汉字的盲文识别系统。主要研究内容分为盲文识别、拼音向汉字转化两个部分。

1.利用CNN神经网络进行盲文识别

（1）盲文的输入

盲文输入的方法可以有很多，最常见的是通过摄像机拍摄、扫描仪扫描等，但通过这些方法获得的盲文源大多存在偏移、扭曲、缺少、噪点等问题。对于偏移、扭曲问题，本文通过 Canny 算子膨胀进行边缘提取，再使用 Hough 进行矫正，将偏移的盲文字符摆正;对于噪点的消除，本文通过高斯滤镜进行模糊处理，过滤掉一些半径较小的点。

（2）盲文的分割

首先要解决分割的问题，鉴于盲文和普通文字的形态的差别，盲文的盲方为 3 × 2 的矩形点阵，一行盲文在 y 轴的投影为 3 条灰度条，一列盲文在 x 轴的投影为 2 条灰度条，且每个单元之间有较为明显的空隙。本文选择对盲文进行膨胀处理，进行适当膨胀处理后，单个盲文字符被处理成一个联通的区域，传统的投影分割算法能很容易地将单个盲文字符分割开来。

（3）盲文字符的识别

由于盲文字符的特殊性，我们可以使用CNN神经网络进行训练。

本文初步将CNN 中卷积层的层数定为2层，每一层卷积层后面接下采样层.取盲文图片对两种卷积层模型进行测试。

全连接层定为2层，经过多次尝试采用不同节点数量时 CNN 模型的识别效果，得出当第1层全连接层节点数为 300，第2层全连接层节点数为 64 时，CNN 模型的识别准确率最高。

经过多次实验，综合识别速度和准确率等多方面因素，本文最终确定的 CNN 模型的网络结构包括：输入层，2 层卷积层（ Conv） ，2 层下采样层 （ Pool） ，1 层激活层（Relu） ，2 层全连接层（ Ip） ，最后再模型的末端接一层Softmax分类层。

将数据集的盲文图片导入到CNN模型中进行训练，设定训练迭代次数1000次，得到识别准确率为99.32%

2.构建三元语言模型将拼音转换为汉字

一个特定的拼音会对应多个汉字，对于已经得到的一系列拼音，我们需要将它准确地转化成一段汉字。

（1）盲文拼音清洗

首先，本文对每个盲文字符做一个简单映射，得到最简单的、最原始的拼音，随后我们对这些字符进行进一步清洗，转化为通用的拼音。对于普通的拼音，我们做简单的映射;对于特殊的韵母，我们找到对应的声母并丢弃对应的声调信息;对于盲文中一些特殊的规则，由于这些规则的数量非常有限，我们对这些有限规则做一个有限集映射，单独处理这些特例即可。同时，盲文拼音与我们日常使用的拼音有一些差别，如 yuan 在盲文中表示为 ian 的盲文符号加上一个表示声调的符号，对于这些情况需要分离出来特殊处理。

（2）基于三元语言模型的智能拼音

本文采取三元语言模型来完成拼音到汉字的转化。根据公式：

其中表示为分词按照排列成句子的概率，根据训练模型的语料库不同，采用不同的概率。

本文对首先读入拼音汉字表，建立拼音到汉字的映射;之后读入了九个语料文件，分别计算每个词出现的词频与三个连续汉字出现的词频。建立三个及三个以下汉字到词频的映射，输出最有可能与给定拼音序列对应的汉字序列。为了减少三元模型所占用内存空间的大小，将所有出现频次不超过 2 的三元组过滤掉，以此来减少模型所消耗的内存。

总结及建议

本文通过CNN神经网络模型，使得盲文能够转化为汉字，且有着很高的准确率;同时，采取三元语言模型来实现拼音串到汉字的转化，并在保证正确率的同时一定程度上缓解了由于三元语言模型占用空间较大的缺点。将CNN神经网络与三元语言模型相结合，使得盲文识别系统的准确性与实用性有了进一步提升，该系统的研发于盲人有着重大意义。

参考文献：

[1]李荣瑞，施霖.基于深度学习的盲文自动识别系统[J].电子科技，2018，31（09）：45-49.DOI：10.16180/j.cnki.issn1007-7820.2018.09.012.

[2]李荣瑞. 基于深度学习的盲文自动识别研究[D].昆明理工大学，2018.

[3]张金贵. 基于深度迁移学习方法的盲文识别技术研究[D].兰州大学，2020.DOI：10.27204/d.cnki.glzhu.2020.000521.